基于姿势的动作识别主要是通过以整体化处理输入骨骼的方法来解决的，即姿势树中的关节是整体处理的。但是，这种方法忽略了这样一个事实，即行动类别通常以局部动力动力学为特征，这些动力动力学仅涉及涉及手（例如“竖起大拇指”）或腿部（例如``踢''）的零件联合组的小子集。尽管存在基于部分组的方法，但在全球姿势框架内并未考虑每个部分组，从而导致这种方法缺乏。此外，常规方法采用独立的方式流（例如关节，骨，关节速度，骨速度），并在这些流中多次训练网络，从而大大增加了训练参数的数量。为了解决这些问题，我们介绍了PSUMNET，这是一种新颖的方法，用于可扩展有效的基于姿势的动作识别。在表示级别，我们提出了一种基于全球框架的部分流方法，而不是基于常规模态流。在每个部分流中，从多种模式的相关数据被处理管道统一和消耗。在实验上，PSumnet在广泛使用的NTURGB+D 60/120数据集和密集的关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。 PSUMNET高效，优于竞争方法，使用100％-400％的参数。 PSUMNET还概括为具有竞争性能的SHREC手势数据集。总体而言，PSUMNET的可伸缩性，性能和效率使其成为动作识别以及在Compute限制的嵌入式和边缘设备上部署的吸引人选择。可以在https://github.com/skelemoa/psumnet上访问代码和预算模型
translated by 谷歌翻译
缺乏细粒度的关节（面部接头，手指）是艺术骨架动作识别模型的基本性能瓶颈。尽管瓶颈，但社区的努力似乎只是在提出新颖的建筑方面投入。为了具体地解决这个瓶颈，我们介绍了两个基于姿势的人类行动数据集 - NTU60-X和NTU120-x。我们的数据集扩展了最大的现有动作识别数据集NTU-RGBD。除了在NTU-RGBD中的每个骨架的25个主体关节之外，NTU60-X和NTU120-X数据集包括手指和面部接头，从而实现更丰富的骨架表示。我们适当地修改现有技术方法以使用引入的数据集实现培训。我们的结果展示了这些NTU-X数据集在克服上述瓶颈方面的有效性，并在先前最糟糕的行动类别中提高了最糟糕的瓶颈。可以在https://github.com/skelemoa/ntu-x找到代码和预磨料模型。
translated by 谷歌翻译
Recent work has shown that large language models are capable of generating natural language reasoning steps or Chains-of-Thoughts (CoT) to answer a multi-step question when prompted to do so. This is insufficient, however, when the necessary knowledge is not available or up-to-date within a model's parameters. A straightforward approach to address this is to retrieve text from an external knowledge source using the question as a query and prepend it as context to the model's input. This, however, is also insufficient for multi-step QA where \textit{what to retrieve} depends on \textit{what has already been derived}. To address this issue we propose IRCoT, a new approach that interleaves retrieval with CoT for multi-step QA, guiding the retrieval with CoT and in turn using retrieved results to improve CoT. Our experiments with GPT3 show substantial improvements in retrieval (up to 22 points) and downstream QA (up to 16 points) over the baselines on four datasets: HotpotQA, 2WikiMultihopQA, MuSiQue, and IIRC. Notably, our method also works well for much smaller models such as T5-Flan-large (0.7B) without any additional training.
translated by 谷歌翻译
As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.
translated by 谷歌翻译
“感应头”是注意力头，它实现了一种简单的算法来完成令牌序列，例如[a] [b] ... [a] - > [b]。在这项工作中，我们提供了一个假设的初步和间接证据，即诱导头可能构成大型大型变压器模型中所有“文本学习”中大多数的机制（即减少在增加代币指数时损失的损失）。我们发现，诱导头在与秘密学习能力突然急剧上的急剧上升的位置完全相同，这是训练损失的颠簸。我们提出了六种互补的证据，认为诱导头可能是任何大小的变压器模型中一般性内部学习的机理来源。对于仅关注的小型模型，我们提供了有力的因果证据。对于具有MLP的较大模型，我们提供相关证据。
translated by 谷歌翻译
是否可以指导基础模型执行涉及法律推理的任务？我们认为，建立一个基准来回答这个问题将需要计算机科学与法律社区之间持续的合作努力。为此，这份简短的纸张有三个目的。首先，我们描述了IRAC-A框架法律学者如何用来区分不同类型的法律推理 - can指导基础模型的基础基准。其次，我们介绍了根据此框架构建的44个任务的种子集。我们讨论初始发现，并突出显示新任务的方向。最终，由开放科学运动引起的启发 - 我们呼吁法律和计算机科学社区通过贡献新任务来加入我们的努力。这项工作正在进行中，我们的进度可以在此处跟踪：https：//github.com/hazyresearch/legalbench。
translated by 谷歌翻译
我们生活的世界充满了技术，而每天都有无人机的进步和使用有效地增加。由于许多应用程序方案，在某些任务中，无人机容易受到外部干扰的影响，例如地面站的连通性丧失，安全任务，安全问题和与交货相关的任务。因此，根据情况，这可能会影响运营并导致无人机的安全着陆。因此，本文提出了一种在动态环境中安全着陆的启发式方法。这种方法的目的是检测安全的潜在降落区 - PLZ，并找出最适合降落的区域。最初，PLZ是通过通过Canny Edge算法处理图像来检测的，然后应用了直径估计值对于每个边缘最小的区域。比车辆间隙更高的斑点被标记为安全PLZ。在该方法的第二阶段中，计算了向PLZ移动的动态障碍的速度，并考虑到达到区域的时间。计算无人机的ETA并在无人机的下降期间，执行动态障碍物。在现实世界环境中测试的方法显示了现有工作的更好结果。
translated by 谷歌翻译
大型变压器模型实现了自然语言理解任务的最新状态，并越来越成为建模源代码的基线模型体系结构。通常，变压器在大型无监督的语料库中进行预训练，学习令牌表示和与通常可用的文本相关的转换，然后对特定的下游感兴趣的任务进行微调。虽然微调是一种尝试将模型调整为新领域的久经考验的方法（例如，在给定主题上提出问题，概括仍然是一个持续的挑战。在本文中，我们探索并评估了变形金刚的模型以进行个性化。在为Java方法生成单元测试的背景下，我们评估学习以使用多种个性化技术为特定的软件项目个性化。我们考虑三种关键方法：（i）自定义微调，这允许调整所有模型参数； （ii）轻巧的微调，它冻结了大多数模型的参数，可以单独调整令牌嵌入和SoftMax层或单独的最终层； （iii）前缀调整，该调谐使模型参数冻结，但优化了小型项目特定的前缀矢量。这些技术中的每一个都提供了总计算成本和预测性能的权衡，我们通过代码和特定任务指标，培训时间和总计算操作进行评估。我们比较了这些微调策略以生成代码，并讨论了各种部署方案中每个策略的潜在概括和成本益处。
translated by 谷歌翻译
对自我监督学习（SSL）的最新分析发现，以下以数据为中心的属性对于学习良好表示至关重要：对任务 - 无关紧要的语义的不变性，在某些潜在空间中的类别可分离性以及从增强样品中可恢复标签的类别。但是，鉴于它们的离散，非欧成功的性质，图形数据集和图SSL方法不太可能满足这些属性。这提出了一个问题：如何绘制SSL方法（例如对比度学习（CL））如何工作？为了系统地探究这个问题，我们在使用通用图扩展（GGAS）时对CL进行概括分析，重点是以数据为中心的属性。我们的分析对GGA的局限性以及与任务相关的增强的必要性产生了正式见解。正如我们经验表明的那样，GGA不会在共同基准数据集上引起与任务相关的不变性，这只会导致对天真的，未经训练的基线的边际收益。我们的理论激发了合成数据生成过程，该过程能够控制与任务相关的信息并拥有预定义的最佳增强。这种灵活的基准测试有助于我们确定高级增强技术（例如自动化方法）中未认可的限制。总体而言，我们的工作在经验和理论上都严格地对以数据为中心的属性对图形SSL的增强策略和学习范式的影响进行了严格的背景。
translated by 谷歌翻译
虽然直接进行微调（FT）大规模调查，但在特定于任务数据上进行了预定的模型，众所周知，可以引起强大的分配任务绩效，但最近的作品表明，不同的适应协议，例如线性探测（LP），例如线性探测（LP） ft，可以改善分布的概括。但是，此类适应协议的设计空间仍未探索，并且对此类协议的评估主要集中在分配转移上。因此，在这项工作中，我们评估了跨分布转移和机器学习安全指标（例如，异常检测，校准，对腐败的鲁棒性）的共同适应协议。我们发现协议引起了不同的权衡，这些权衡从事先评估中显而易见。此外，我们证明，适当的数据增强和协议可以大大减轻这种权衡。最后，我们假设并从经验上看到，在LP期间使用促进硬度的增强功能，然后使用增强功能对ft进行ft可能对缓解折衷尤其有效。
translated by 谷歌翻译